当你在 ChatGPT 或者新 bing 里输入一个问题，AI 会调用它的云端大脑，思索一番，生成一段较为合理的回答。而在 OpenAI 开发 GPT 时，也反复提到了参数正变得庞大，模型的规模也在逐代变得复杂。训练大规模的语言模型，需要极大算力的 GPU 集群，并且随着用户数量的指数级增长，运行它们同样会占用相当的算力。每个想要入局 AIGC 的企业，最先考虑的是如何布局大规模的云计算中心，仿佛 AIGC 的竞争已然成为硬件资源的角力。OpenAI CEO Sam Altman 图片来自：wired有了更强算力的计算中心，就能够跑得起更大规模的语言模型和算法，最终的 AI 产品，可能也会变得更「聪明」。然而，近期 OpenAI CEO Sam Altman 在麻省理工的演讲里，给那些想凭借「大力出奇迹」的后来者泼了盆冷水。Altman：无脑扩大模型规模已经过时「大型模型时代已经到头了，我们需要用新的思路和方法，让 AIGC 取得新的进展。」扩大模型规模，利用更复杂的参数，调用更大的算力，基本上是 OpenAI 过去几年在 GPT 上所使用的迭代方法。GPT-2 大概拥有 15 亿参数，而 GPT-3 则拥有 1750 亿参数，而 GPT-4 虽然没有官方数字验证，但不少机构也推测出，它使用了数万亿字的文本和上万台云计算服务器，训练它的成本已经超过了 1 亿美元。随着 ChatGPT 的影响力越来越大，微软也使用了其底层技术，推出了新 bing。随之，Google 推出了 Bard，Adobe 推出了 Firefly，除了这些大企业外，硅谷许多资金充裕的初创企业，像是 Anthropic、AI21、Cohere 和 Character.AI，也在疯狂地投入，构建更大规模的算法，以赶上 ChatGPT 和 OpenAI。二代 Runway 一句话生成的大片对于硬件资源的极大需求，也造成了英伟达 A100、H100 GPU 的抢购潮。在 eBay 上，英伟达的 H100 已经成热门商品，价格更是炒到了 4 万美元，而其官方售价只是 3.3 万美元。并且，H100 一般是打包 8 张组成一个服务器销售。目前，并没有其他的第三方对外销售的 GPU 与英伟达竞争，在 AI 浪潮之下，谁的英伟达 GPU 越多，仿佛就掌握了 AIGC 行业的取胜之匙。与传统行业的资本垄断、大企业垄断类似，对于算力的追求，也催生了「算力垄断」。而 Sam Altman 也表示，OpenAI 还没有开发 GPT-5 的计划。言下之意便是，无脑的扩大模型规模，并不会让 GPT 保持无限的迭代。目前来说，ChatGPT 与微软的新 bing 都遇到了不少因为算力不太够而出现宕机、服务不稳定的状况。同时，新 bing 也并未面向所有用户，「排队等待」的状况仍然存在。而这也是 Google 还无法将类似的生成式 AI 完全引入其搜索的一个原因。曾在 Google 从事 AI 工作，现在是 Cohere 创始人的 Nick Frosst 也表示 Altman 很有先见之明，并且也表示，新的人工智能模型设计或架构可能会基于人类反馈进行调整。按照这个思路来说，OpenAI 或许已经在用新的思路在构思 GPT-5 了。Musk：挖人、买显卡、组团队入局即便 Sam Altman 公开表示，现阶段继续走 OpenAI 的老路，通过扩大模型规模来提升，很难追得上 ChatGPT。但曾是 Altman 的老朋友 Musk，毅然决然地投入到了 AIGC 行业之中。根据华尔街日报的消息，Musk 悄悄地注册了一家名为 X.AI Crop 的公司，并从 Google 挖了几名研究员，向英伟达买了几千张显卡。Musk 的目的很明确，就是为了与 OpenAI 和 Google 展开竞争。就在相关报道发出之后，Musk 在接受 Fox News 采访时，就承认了想要推出一款类似 ChatGPT 的产品，取名为 TruthGPT。Musk 的意图很明确，TruthGPT 将会「最大化寻求真理的 AI」，并试图理解宇宙的本质，希望能带来更多的好处而不是坏处。Musk 的采访和回应，其实有点无厘头，毕竟按照现在大语言模型的规模来看，X.AI Crop 可能还不如硅谷的一些初创团队。且 TruthGPT 这个名字也像是在向 ChatGPT 抗议。Musk 一直认为 GPT-4 类的生成式 AI 会有相当大的风险，呼吁暂停开发六个月，并且呼吁推出相应的监管。甚至也说出了「ta 有毁灭文明的潜力」。只是一边说暂停研究，自己一边成立 X.AI Crop 开始入局 AIGC，很难不相信这是在炒作。另外，暂停六个月的研发，也更像是封印 OpenAI，给自己留出六个月的时间来迎头追上进度。不可否认地说，Musk 的 SpaceX、Tesla 都颠覆了一个行业，成为当下名气最响亮的企业。Musk 与 Starship而当初离开 OpenAI，看到如今的成就，并用一些比较有争议的言论，反而展示了 Musk 早就错失机会的不甘。至于 TruthGPT 是否能像他说的那样，只能等六个月再看看了。黄仁勋：我们需要一个 App目前生成式 AI 仅存在于对话框中，以一种很古典的形式出现在当下所有的智能设备当中。不论是插件，还是第三方 App，最终大众与其交互的都是一个个对话文本框。这也是计算机刚刚出现时，最初级的人机交互方式。而在 Nicolai Tangen 的一期播客里，他与英伟达 CEO 黄仁勋 畅聊了 AI 将会如何改变人们生活和工作方式。当下 AI 的快速发展，离不开英伟达的 GPU 的助力，英伟达几乎垄断了云算力的市场。如 Altman 的观点，当下 AI 还无法摆脱超高算力，超大型模型以及庞大算法的支持。对于初创公司来说，这是一个挑战，而对于英伟达来说也是。英伟达需要不断地开发制造更强大的 GPU 来适应 AI 的发展。并且目前 AI 仍然存在于巨大的数据中心，以及需要多台超级计算机提供算力。它不像此前任何的一个应用程序，或者软件。GPT-3 有着 1750 亿个参数，在面对如此的计算量时，英伟达的 AI GPU 从底层重新进行了设计。但目前，处理大规模的数据和学习大模型，仍然需要数周的时间。它现在还无法浓缩到一个 App 或者个人 PC 当中。如此其实也解答了到目前为止 AI 对于软件的促进，其实都是以云和插件的形式存在。而英伟达也表示，AI 已经开始深入到自己芯片的设计当中，「当芯片架构师在睡觉的时候，AI 仍然在不断地迭代和优化改进相应架构」。「它能帮助我们更好地设计和制造芯片。」换句话说，AI 介入芯片的生产，而生产出的芯片又用于云算力来运行 AI，这算是 AI 的自给自足了吧。另外，黄仁勋也认为 AI 也将会引发下一次工业革命，它暂时不会自我觉醒取代人类。反而会极大地解放人力，增加每个人的生产力。人们可以利用自然语言直接编程，而无需学习复杂的 Python、Java、C 语言。并且，他也拿英伟达的软件工程师举例，在 AI 的帮助下，大概有 40~50% 的代码和软件由生成式 AI 补充，工程师只要提供建议与思路。黄仁勋也预估，AI 的加入，会让目前英伟达软件工程师的生产效率提升 10 倍。Github 的 Copilot 功能AI 的介入，能够让人们以一万倍的速度完成很多繁琐的事情，间接提高了生产力。在 GPT-4 出现之前，AI 行业可以以简单地依靠扩大模型规模，增加硬件部署来保持高速迭代。随着算力瓶颈的出现，不得不让 OpenAI 重新思考如何优化，找到 AI 的下一步发展方向。同样地，黄仁勋也清晰地认识到，目前 AI 对于算力的需求过于庞大，且它需要存在于一个空间巨大、芯片众多的位置，现在的 AI 就仿佛像是世界上第一代计算机 ENIAC 一般。AI 的下一步，减少对资源需求的同时，也需要瘦身，并且能独立存在于一个 App 或者软件当中。从目前来说，这还不太现实，不过好消息是 OpenAI 已经开始招聘 Android、iOS 工程师，相应的 App 也应该很快就来了。
ChatGPT 们难以复制的原因，除了耗显卡，还有水电费太贵？
ChatGPT 之父承认 GPT-5 并不存在，为什么 OpenAI 总是这么实诚？｜万字详述